ostbuild: Ensure private libraries are in runtime, and kill .la files

A regular libfoo.so not in one of the regular directories should go in
runtime.  (Probably we should double check it's a regular file too).

Also, delete .la files unconditionally.

core: Support committing multiple tarballs in the same transaction

ostbuild will generate two artifacts: foo-runtime.tar.gz and
foo-devel.tar.gz in the general case.  When committing to the devel
tree, it'd be lame (i.e. slower and not atomic) to have to commit
twice.

gnomeos: Rename images to "runtime" and "devel"

They're just better names, and this matches what the
default artifact splitter is doing now.

ostbuild: Flesh out chroot build to use ostbuild-user-chroot

One thing that made this take significantly longer than it might
have otherwise is that we have to keep PWD "up to date" - otherwise
we hit bugs in glibc's getcwd() implementation.

gnomeos: Pull in ostree from working copy directly

We'll just try to keep it stable.

core: Install unversioned .so, and kill .la file

This avoids Yocto barfing on a versioned shared library symbolic link
without a -dev package.

core: Support --owner-uid and --owner-gid options for commit

This allows us to more easily import user-built tarballs into
a root-owned OSTree repo.

tests: Ensure we quote grep pattern

Otherwise we fail if the pattern starts with -

core: In user mode checkouts of archives, use hard links

Now that we've done all the gyrations to separate content from
metadata in archives, we can just hard link when doing user checkouts.

core: Fix a few memory leaks

gnomeos: Don't make device files

We don't need them any more inside a chroot now that we have
ostbuild-user-chroot.

core: INCOMPATIBLE CHANGE: Split archive files in two parts (meta and content)

This will allow us to have hardlink checkouts of archives.  A key use
case here is an archive repo of an OS (with root-owned files etc.)
where we want to do builds in a user tree.

A positive side effect of doing things this way is that now the SHA256
checksums for a given file should be identical regardless of whether
it's stored in an archive or bare repository.

core: Don't insert null byte in temporary file names

core: Add utility functions to convert a OstreeObjectType to/from a string

core: INCOMPATIBLE CHANGE: Name repo files with their type (e.g. .dirmeta)

This makes inspection easier.  Internally the code gets simpler because
metadata and files are more unified; there is just one object type.

osbuild: Make a MS_NOSUID bind mount over /

This closes a serious issue in that we still do a uid switch to 0 when
executing a suid binary, even though we're not gaining capabilities.

core: Initialize variables in fsck

Otherwise we segfault on an unhandled filename.

core: Change fsck to use packfile parsing API

core: s/pack/archived/

This completes the rename from the previous commit.

core: Make ot_transfer_out_value() take a & for the second argument

As Ray Strode argued, it's confusing to have something that looks like
a function be magical.  And OT_TRANSFER_OUT_VALUE is uglier.

core: INCOMPATIBLE CHANGE: Rename .packfile to .archive

It's too confusing that we call the mode "archive" but the actual
files ".packfile".  Also, git already has a "packfile" that serves a
totally different purpose.

core: Switch is_archive to an enumeration

This is in preparation for adding a third mode.

core: Delete some dead code

core: Clean up checkout code

Take a GFile * for destination.  Also, we only need one recursive
function, not two.

user-chroot: Add --unshare-pid, --unshare-net, and --mount-proc

To use CLONE_NEWPID we have to actually call clone() because it's
not supported by unshare().

To enable CLONE_NEWPID to be useful, we have to allow creating a new
proc mount rather than binding an existing one.

ostbuild: Add --unshare-ipc flag for user-chroot

This optionally closes down more paths to the host, which is
a good thing.

core: Add -U option for checkout to skip lchown() and xattrs

This is useful for checking out an OS filesystem tree as a regular
user, and not caring about /dev and stuff.

core: Ensure we chown created directories too

core: Remove some useless wrapping of packfile unpacking in checkout

ostbuild: Compile and install ostbuild-user-chroot

It still needs to be made setuid.

ostbuild: Also allow making directories read-only

ostbuild: Clarify "safely" for user-chroot

ostbuild: Recursively make mount points private

This ensures we're not going to mutate any global state.

ostbuild: Allow binding arbitrary directories, don't hardcode /proc /dev

This is just more flexible, and eventually we want this to be a
generic user-chroot tool.

ostbuild: Ensure user chroot mounts are not shared

It's possible that the root filesystem mount is global; we need
to undo that in order to be sure that our "private" bind mounts
really are private.

ostbuild: Update user-chroot to bind mount /proc and /dev

core: Major cleanup to internal import API

core: Further unify code for importing from local FS and libarchive

Note this change makes it so we no longer call link() from an import
filesystem tree to the repository.  This is a Good Thing really; it
makes local FS commits slower, but also less prone to corruption.

core: Ensure we initialize checksum in FIFO case too

core: Add _from_input variant of checksum API

ostbuild: ostbuild-user-chroot: New Linux-specific utility for safe chroots

gnomeos: Make run script transparently update existing FS image

This is noticeably faster.

gnomeos: commit-yocto-build.sh: Directly import tar files

Oh wow...this is fast.

core: Fix handling of hardlinks for tar commits

We were creating files with the wrong name.  Add a test.

core: Support for committing from any libarchive-supported format

We really want the ability to take a .tar.gz and directly import
it into a repository, without creating a temporary filesystem tree.

First, doing it this way is significantly faster.  Also, this allows
us to handle importing tar files with e.g. uid 0 files into packed
repositories as non-root, which is very useful for tests and builds.

core: Fix a memory leak in checkout

core: Handle NULL xattrs in packfile generation, throw error on invalid mode

core: Correctly map S_ISDIR to G_FILE_TYPE_DIRECTORY

core: Clean up filename utility API

Remove more unused functions, and change pathname splitting to handle
more cases like duplicate //, and to throw an error on .. as a filename.

core: Initialize checksums for non-regular files, handle NULL xattrs

core: Delete some dead utility code

core: New ot_transfer_out_value() macro

This makes out values considerably less typing.

core: Ensure we clean up leftover directories during merge

(Not sure why this regressed)

core: Fix packed file creation

We were calculating the wrong checksum, and also mistakenly
not using packed files in archive mode for non-regular files.

core: Don't use g_file_delete(), it calls into g_vfs_get_default()

For some (probably crazy) reason.  Skipping this and calling
unlink() directly makes 'strace' MUCH smaller.

core: Avoid reading regular file data twice when archiving

core: Further unify API to create files

We now have just one place which writes to the filesystem.  Wrap a
temporary file allocation API on top of that.

core: Use g_io_error_from_errno() to ensure we have more useful error codes

core: Move pack file parsing into core, add ostree_create_file_from_input() API

This moves us closer to consistently passing around a triple of:
  (GFileInfo *info, GVariant *xattrs, GInputStream *content)
Which will help the libarchive work.

core: Tweak dir metadata importing code for libarchive work

This will allow us to share a bit more code.

core: Modify pack file importer to also optionally checksum

For future work on importing from an archive.

core: Add ot_gfile_create_tmp_symlink()

In some cases we'll need the ability to create a symbolic link, then
actually import it.

core: Propagate GCancellable a bit from the import APIs

core: Drop some dead code from packfile writing, expose GInputStream API too

We never actually dropped into the bits to write metadata as packfiles,
because such a thing doesn't exist.

Also add a GInputStream-based API for writing packfiles.

core: Extract stage_and_checksum() internal API

This will be used for staging both metadata and data consistently
before actually importing it.

core: Add ot_gfile_create_tmp() to utils, use it

repo: Don't call g_hash_table_destroy on a NULL hash

core: Split pull functionality into separate ostree-pull binary

This is to avoid everything depending on libsoup.

core: Make libostree.so an installed library

This will make it easier to have multiple binaries.

ostbuild: Relicense under LGPLv2+, tweak artifact generation

core: Use ot_clear_checksum()

otutil: New utility functions

core: Remove an unused variable

core: checksum builtin: Actually quit main loop on error too

core: Make commit always operate on directory contents, not file list

This simplifies things significantly, at some cost in flexibility.
We'll later add the ability to e.g. filter out files by regular
expression.

core: Some tweaks to ls output

gnomeos: Switch to using pseudo for commits

This is noticeably faster.

One side effect here is that xattrs are empty, which is actually
a good thing.

gnomeos: Pull in pseudo into -dev image

As a potential 'fakeroot' implementation.

ostbuild: Don't run fakeroot if we are root

For efficiency reasons, as well as a quick shortcut to avoid pulling
fakeroot into the gnomeos yocto layer.

core: Fix a compiler warning

core: Add ls builtin

core: Don't default to "master" for show, there is no default branch anymore

configure: Actually disable soup-gnome if not found

gnomeos: include -dev packages too in -dev image

Otherwise we don't get headers and stuff...

core: Add asynchronous checksum API, use it in checksum builtin

gnomeos: Add basic device files in /dev

So we're more usable in a chroot for compiling software.

gnomeos: Fetch ostree from file:/// URI

This means anyone not using /src/ostree for the checkout will have
to change it, but it's way less annoying for me not to have to push
changes to git.

ostbuild: Split nice/logger program out, merge make/makeinstall into one executable

daemon: Allow running as non-root in test mode

gnomeos: Prefix branch names with -yocto to clarify their origin

Also add git to the dev image.

gnomeos: Add ncurses to base

core: Minor code cleanup

ostbuild: Rename osbuild to ostbuild, clean up old C files

core: Ad ot_clear_gvariant(), use it

This saves us a conditional.

gnomeos: Make python actually work, install bash by default

core: A bit more daemon work

core: Move merge dirs code into gio utils

core: Stub out a system daemon

gnomeos: Check out both -base and -dev roots

This makes it easier to boot into either.

ostree-init: Also trim trailing newline from arguments

Otherwise the parsed argument is corrupted.